TokenRouter: Efficient Serving System for Token-Level LLM Routing
TokenRouter：高效 token 级 LLM 路由服务系统
🧭 LLM Serving · Token 级路由
Tsinghua University · Carnegie Mellon University
设计 TokenRouter，以请求中心编程、模型中心执行和延迟批处理调度大幅提升 token 级 LLM 路由吞吐
📌 工作参考价值（3 点）
- 在电商/广告的 LLM 多模型路由场景中，可借鉴 request-centric programming, model-centric execution 的分层思想：策略侧只需按单个请求描述路由逻辑，由运行时为每个模型启动独立 subserver 并异步分发，避免将路由策略硬编码进模型服务，降低开发复杂度。
- delayed-batching scheduler 通过有界延迟换取更高吞吐，适合批量生成商品描述、广告文案、搜索 query 推荐等近线/离线任务；其最优超参数可由吞吐模型推导，减少人工调参成本。
- 异步执行和 CUDA Graph 优化在多模型异构推理中可复用，提高 GPU 利用率；若业务同时部署大小模型或专用生成模型，可参考 subserver 隔离与异步调度避免互相阻塞。